cover_image

针对机器剩余寿命预测的位置编码型卷积神经网络

IEEE/CAA JAS JAS自动化学报英文版 2022-10-21 16:35

Image

研究背景


机器的剩余寿命预测可以有效防止机器在不良条件下工作,从而保证工业系统稳定,高效地运行。因此,准确地机器寿命预测对于工业系统十分重要。近些年来,很多基于深度学习的方法被提出来解决该任务。在众多方法中,基于循环神经网络的方法因其对时序信息的有效捕获,展现出了比基于卷积神经网络方法更好的性能。

我们对这一结论进行了思考,发现已有的基于卷积神经网络的寿命预测方法由于网络结构设计的问题,无法展现应有的预测准确率。通过分析,我们发现,在时序信息捕获方面,卷积神经网路很大程度上依赖其感受野的大小;而已有的基于卷积神经网络的方法均忽略了这一因素。

为了解决上述问题,我们提出了一系列新的卷积神经网络。实验表明,在机器生命预测这一任务下,基于新设计的卷积神经网络的方法表现出了和基于循环神经网络的方法相似的性能。不仅如此,我们注意到,与循环神经网络相比,卷积神经网络因为并行处理输入信号,时序信息无法被轻易感知。为了缓解这一缺陷,提出了一种位置编码机制来增强卷积神经网络中的时序信息。通过该方法,我们提出了基于位置编码的卷积神经网络(PE-Net)。在C-MAPSS数据集上的大量实验数据表明所提出的基于位置编码的卷积神经网络展现出优于循环神经网络的性能并在该数据集上取得了最好的结果。


成果介绍


Image

机器剩余寿命预测对于工业系统十分重要。随着深度学习的兴起,很多基于深度学习的方法被提出来解决该问题。在众多方法中,基于循环神经网络的方法广泛受到认可。相比于卷积神经网络,循环神经网络因其善于获取时序信息,被认为更适合用来解决该任务。然而,受限于循环网络本身的输入机制,基于循环神经网络的方法在训练和预测过程中无法并行运行,耗费大量时间。因此,为了节约成本,已有基于循环神经网络的方法大多由2-3层的浅层网络组成。这种浅层网络极大地限制了网络的表征能力,进而影响寿命预测的准确性。

为了解决上述问题,新加坡科技研究局的陈正华博士团队提出了一种基于位置编码的卷积神经网络。该网络使用了全新的网络架构并应用了位置编码技术,在C-MAPSS数据集上,表现出优于循环神经网络的性能。其研究成果发表于IEEE/CAA Journal of Automatica Sincia 2022年第9卷第8:R. B. Jin, M. Wu, K. Y. Wu, K. Z. Gao, Z. H. Chen, and  X. L. Li,  “Position encoding based convolutional neural networks for machine remaining useful life prediction,” IEEE/CAA J. Autom. Sinica, vol. 9, no. 8, pp. 1427–1439, Aug. 2022.  doi: 10.1109/JAS.2022.105746.

首先,分析了卷积神经网络结构对捕获时序信息质量的影响,并从卷积核,感受野,网络深度三个方面重新设计了一系列卷积神经网络。如表1所示,为了让卷积神经网络易于收敛,除第一层外,其余卷积核均采用1*3的一维卷积核,并且卷积通道数量随网络加深而逐层递增。为了确保神经网络可以完好地捕获时序信息,神经网络最后一层的感受野应不小于输入的时间长度。然后,引入了位置编码技术,进一步提高了卷积神经网络对时序信息的捕获能力,从而提高了在机器寿命预测上的准确率,系统框架如图1所示。


表1 卷积神经网络结构

Image


Image

图1 系统框架


不同网络结构在C-MAPSS数据库的实验结果如表2所示。从实验结果可以看出,由于输入数据的长度仅为30,且CNN-C与CNN-D的感受野均大于30,因此CNN-C与CNN-D表现出了相似的性能,并优于其他两个网络。


表2 不同网络结在FD004的实验结果

Image


进一步,设计了CNN-C与位置编码(PE)组合的实验,其在C-MAPSS数据库的实验结果如表3所示。在应用了位置编码技术在卷积神经网络之后,我们提出的基于位置编码的卷积神经网络(PE-Net)达到了更好的性能并优于其他方法。


表3 CNN-C与位置编码(PE)组合实验在C-MAPSS数据库的实验结果

Image



作者及团队


Image

金瑞冰,博士,毕业于新加波南洋理工大学,目前担任新加坡科技研究局研究科学家,主要研究方向包括计算机视觉,时间序列信号分析,深度学习等,已在Pattern Recognition, Knowledge-Based Systems, IEEE Transactions on Instrumentation and Measurement等期刊发表过多篇高质量学术论文,曾荣获人工智能顶会CVPR 2021挑战赛冠军。


Image

吴敏,博士,毕业于新加波南洋理工大学,目前担任新加坡科技研究局高级研究科学家。主要研究方向为机器学习,迁移学习,数据挖掘和生物信息学。近年来发表学术论文一百余篇,参与编写英文专著两部曾荣获数据库系统高级应用国际会议(DASFAA 2015)和国际生物信息学会议(InCoB 2016)的最佳论文奖,IEEE故障诊断和系统健康管理国际会议(PHM 2020)最佳论文提名奖。受邀担任KDD, AAAI, IJCAI等重要国际会议程序委员会委员


Image

武可雨,博士,毕业于新加波南洋理工大学,目前担任新加坡科技研究局研究科学家。主要研究方向包括强化学习,迁移学习,自监督学习等;近年来发表学术论文四十余篇;曾荣获人工智能顶会CVPR 2021挑战赛冠军及多个IEEE国际会议最佳论文提名奖。


Image

高开周,博士,新加坡南洋理工大学博士、博士后(导师IEEE Fellow, PN Suganthan教授),现任澳门科技大学助理教授,博/硕士生导师,IEEE会员,中国仿真学会智能仿真优化与调度专委会委员,中国运筹学会排序分会理事,Swarm and Evolutionary Computation,IET Collaborative Intelligent Manufacturing和The Chinese Journal of Artificial Intelligence副主编,国家自然科学基金项目通讯评议专家。主要研究方向人工智能、优化与调度、智能交通等。近年来,主持及参与国家自然科学基金7项,新加坡科研项目3项,澳门特别行政区FDCT项目2项,山东省科研项目多项。在IEEE Trans等期刊和国际会议发表研究论文120多篇,ESI高被引论文7篇。获山东省自然科学二等奖、山东省高等学校优秀科研成果一等、二等、三等奖、中国仿真学会智能仿真优化与调度专委会优秀论文奖等多项。担任IEEE Trans、CEC和CDC等30多个国际高水平期刊及顶级会议审稿人,组织或共同组织国际期刊专刊和国际会议专题7次,国际会议专题报告或论文展示报告多次。


Image

陈正华,博士,毕业于新加波南洋理工大学,目前担任新加坡科技研究局研究科学家、PI、实验室主任和博士生导师。近年来发表学术论文八十余篇、编写英文专著两部;论文谷歌学术引用四千余次;主持或共同主持多项新加坡国家研究基金会项目;目前担任Nuerocomputing和IEEE Transactions on Instrumentation and Measurement的编委、IEEE JAS青年编委和多个学术期刊的客座编委;2021和2020年入选全球前2%顶尖科学家(斯坦福大学发布)、曾荣获A*STAR职业发展奖、人工智能顶会CVPR 2021挑战赛冠军、IEEE国际会议最佳论文提名奖等;目前担任IEEE传感器学会新加坡分部副主席和IEEE高级会员。


Image

李晓黎,博士,新加坡科研局,资讯通信研究院机器智能部门主任和首席科学家。他也担任新加坡南洋理工大学的兼职教授。在世界最著名国际人工智能大会(IJCAI, AAAI)和数据挖掘国际会议(KDD, ICDM)担任资深程序委员会委员、区域主席、研讨会主席。在大数据分析、人工智能领域,发表了280多篇论文,并收到了八个国际会议最佳论文奖或国际竞赛的奖励。他具有代表性的研究工作有基于正例和无标记例子的学习(超过2000他引),传感器时序数据分析(超过2000他引), 社交和生物网络挖掘(超过1000他引)。李博士具有丰富的将AI落地的经验并与工业界进行广泛的合作,带领超过10个航空、银行、电信、零售、保险的项目,并产生重大的社会经济效益


全文获取

1. 邀您加入“JAS&自动化学报读者服务交流”微信群,获取更多资源资讯!添加小编微信“zss912483428”拉您入群

Image

  2. 后台留言留下您的邮箱,小编发给您~



相关阅读

点击下方标题查看相关视频:

>自动化前沿热点讲堂第19讲:机器智能前沿技术与应用
  >陈正华 研究员:Position Encoding Based Convolutional Neural Networks for Machine Remaining Useful Life Prediction





END



吕金虎教授等:网络化知识与复杂网络(工程视角)

陈关荣教授:探索最优同步网络的拓扑结构 (综述全文+PPT+直播回放)

【精选导读】模型分类和医学影像分析

【精选导读】基于学习的多智能体系统协作控制

【热点综述】基于人工智能的电池制造和管理

热点综述】水下多机器人系统

“双一流”建设高校及建设学科发文精选

精选导读:抗干扰卡尔曼滤波及其应用

精选导读:基于神经网络的对象识别与跟踪

西班牙哈恩大学Luis Martínez教授等:大规模群体决策综述

东北大学张化光教授团队:多智能体系统的二分编队跟踪

直播回放‖自动化前沿热点讲堂之第十六讲(含相关好文)

JAS多名作者入选科睿唯安2021年度高被引科学

2021年度维纳综述奖获奖名单

精选 ‖ 国家自然科学基金资助论文

欧洲科学院院士王子栋教授:医疗保健中的推荐系统
欧洲科学院院士韩清龙教授等:基于深度学习的CPS网络攻击检测
美国工程院院士Tamer Basar: 遥感系统数据传输规划与解码估算策略研究
》欧洲科学院院士Alessandro Astolfi教授:非线性微分代数系统的稳定性

南京农业大学舒磊教授:智慧农业发展模式、关键技术、安全与隐私对策及挑战

美国工程院院士Dimitri Bertsekas教授最新综述:多智能体强化学习

【目录】IEEE/CAA JAS 2022年 第9卷第9期

【目录】IEEE/CAA JAS 2022年 第9卷第8期

【目录】IEEE/CAA JAS 2022年 第9卷第7期

【目录】IEEE/CAA JAS 2022年 第9卷第6期

【目录】IEEE/CAA JAS 2022年 第9卷第5期

【目录】IEEE/CAA JAS 2022年 第9卷第4期

【目录】IEEE/CAA JAS 2022年 第9卷第3期

【目录】IEEE/CAA JAS 2022年 第9卷第2期

【目录】IEEE/CAA JAS 2022年 第9卷第1期

IEEE/CAA J. Autom. Sinica 2021年发文合集





JAS最新影响因子7.847,排名全球前10%

JAS最新CiteScore达13.0,控制与优化领域排名全球第1

JAS位列自动化学科全球第7!2022谷歌学术出版物影响力榜单发布

自动化学报(英文版)和自动化学报入选计算领域高质量科技期刊T1类

JAS入选中国期刊微信传播力百强榜单

中国科协 ‖ 自动化领域高质量科技期刊分级目录

JAS进入中科院分区工程技术和计算机科学类1区、Top期刊

JAS蝉联Top5%最具国际影响力期刊称号, 国际影响力指数连续四年排名第1

》计算机领域TOP1000期刊:JAS居世界前12%、中国第1

JAS入选中国科技核心期刊

JAS位列世界期刊影响力指数(WJCI)Q1区

》JAS入选中国科技期刊卓越行动计划世界一流重点建设期刊

JAS多名青年编委获得2022年度国家杰青、优青

2022斯坦福AI指数报告

2021年研究前沿报告最新发布

2021年度全球工程前沿研究报告

模式识别学科发展报告

美国工程院院士Dimitri P. Bertsekas: 强化学习及最优控制(71页PPT)

》MIT系列课程:深度生成模型(75页PPT)

》斯坦福全球AI报告2019

剑桥大学2020《AI全景报告》

《人工智能发展报告2020》

论文写作“三字经”,教你如何作高质量科技论文
》MIT计算机大牛:如何写好一篇顶会论文
》欧洲科学院院士陈关荣教授:如何写好英文科技论文
人工智能领域:如何做优秀研究并写高水平论文?
》美国中央华盛顿大学傅平教授:如何撰写高质量期刊文章?

》清华大学吴子牛教授:浅谈论文写作(92页PPT)

复旦大学张军平教授:论文选题与写作

收藏!SCI论文Introduction常用句式超全总结

科研必备!盘点常用文献管理工具

如何撰写一篇优秀的研究论文?这一份68页PPT告诉你

》高质量国基金申请书的必备要素

收藏!论文的基本框架结构(集成篇)


Image

网站

http://ieeexplore.ieee.org/xpl/RecentIssue.jsp?punumber=6570654

https://www.ieee-jas.net/

微信:JAS自动化学报英文版

Bloghttp://blog.sciencenet.cn/?3291369

Twitter: IEEE/CAA JAS

Facebook: Ieee/Caa Jas

投稿https://mc03.manuscriptcentral.com/ieee-jas

Email: jas@ia.ac.cn

Tel: 010-82544459

热点文章 · 目录
上一篇【当期目录】IEEE/CAA JAS 第9卷 第9期下一篇JAS多篇论文入选高影响力论文

Scan to Follow

继续滑动看下一个
向上滑动看下一个